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Abstract of EP0720337 

A redundant Information source consists of a 
Master first information source and a Slave 
information source operate. Master and Slave 
generate relevant information and identification 
with Identical or different information order. The 
master and slave monitor each other for 
functional capability and synchronise transfers. In 
error-free operation only one, the master, 
transmits, and in an error condition transmission 
is performed by the error-free source. 
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(54) Verfahren zur hochzuveriassigen und konsistenten Nachrichtenubertragung 



(57) Die Erf indung bezieht sich auf ein Verfahren zur 
NachrichtenObertragung von einer Infbrmationsquelie 
an mehrere Empfdnger in einem vertellten System nach 
dem ErzeugerA/erbraucher-Prinzip Um eine hochzuver- 
Idssige und - auch Im Stdrungsfall - Iwnsistente Nach- 
richtenubertragung zu erzielen, wird eine redundant 
ausgefOhrte Infbrmationsquelie verwendet, die nach 
einem Master/Slave-Prinzip arbeitet. Die redundant aus- 
gefuhrte Informationsquelle wird als f uhrende Instanz fur 
verteilte Datert)estande definiert, hat also FQhrungs- 



kompetenz. Die Nachrichtenubertragung erfolgt gesi- 
chert Oder nach einem Vertehren zur konsistenten 
Nachrichtenubertragung. Die beiden Infbrmationsquel- 
len (Master und Slave) der redundant ausgefuhrten 
Infbrmationsquelte synchronisieren sich gegenseitig 
bezuglich der Nachrichtenreihenlblge. Bel Ausfall der 
aktiven Quelle erfolgt eine Umschaltung auf die redun- 
dante Quelle. Das Verfahren kann in ieittechnischen 
Aniagen eingesetzt werden. 
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Beschreibung 

Die Erfindung bezieht sich auf ein Verfahren zur 
Nachrichtenubertragung gemdB dem Oberbegriff des 
Anspruchs 1. 

Ein solches Verfaliren fOr den Einsatz in verteilten 
Rechnersystemen wird in Ozalp Babaoglu: Fault-Tole- 
rant Ck)mputing Based on Mach. ACM Operating 
Systems Review, Vol. 24, No. 1. Januar 1990, Seite 27 
bis 39 beschrieben. 

Kern des daraus bekannten Obertragungskonzepts 
ist das sogenannte Queue-and-Count verfahren fur 
jeweils redundante ProzeBpaare (Primdr- und Backup- 
ProzeB). Dieses verfahren setzt einen sogenannten ato- 
maren 3-Wege Nachrichtentransport (atomic Multicast) 
voraus, d.h. eine Nachricht des sendenden Primdr-Pro- 
zesses muB sowohl am Backup-ProzeBdes Senders als 
auch am primdren Empfdnger und dessen Backup ein- 
treffen oder an keinem der drei genannten (Atomaritdts- 
prlnzip). Der Nachrichtenempfang hat mit jeweils 
identischer Reihenfolge zu erfolgen (totale Reihenfolge). 
Das verfahren Ist zugeschnltten auf Transaklionssy- 
steme, es weist fur den Einsatz in der industriellen Leit- 
technik mehrere Nachteile auf. So ist keine schnelle 
Rekonfiguratlon redundanter Komponenten mOglich. 
wie sie im Bereich der ProzeBdaten-Verarbeitung gefor- 
dert Ist. Die Synchronisation redundanter Instanzen 
erfblgt jeweils prozeBbezogen, diesfOhrt zu hohem Syn- 
chronisationsaufwand bei groBer ProzeBanzahl, wie sie 
beisplelweise in der industriellen Leittechnik gegeben 
ist. Das verfahren erfordert weiterhin einen Immens 
hohen tommunikationsaufwand, speziell fur den not- 
wendigen atomaren Obertragungs-Mechanismus. Die- 
ses Verfahren kann wesenttlche. nachfdgend noch zu 
eriduternde Anforderungen nicht erfullen und Istdeshalb 
in der industriellen Leittechnik nicht einsetzbar. 

Weitere in der Literatur bekannte Verfahren, soge- 
nannte Zweiphasen-Konzepte. kOnnen die Anlbrderun- 
gen ebenfalls nicht in vollem Umfang erfQIIen. Aufgrund 
der mehrphasigen Ubertragung von Information zu meh- 
reren Empfdngern erweisen sichdiese Konzepte weiter- 
hin als sehr ineffizient. Aus diesen GrQnden sind auch 
diese bekannten Zweiphasen-Konzepte fOr industrielle 
Leitsysteme nicht verwendbar. 

Das erfindungsgemaBe Verfahren Ist ausgerichtet 
auf den Einsatz in Systemen der industriellen Leittech- 
nik. Der Aufbau dieser Systeme sowie die Anfbrderun- 
gen an diese Systeme werden nachfblgend kurz 
eriautert. 

Rg. 1 zeigt einen typischen Aufbau eines Leitsy- 
stems. bestehend aus mehreren Rechnerkomponenten 
wie Vonrechner (VR) zur ProzeBkopplung, Leitrechner 
(LR) zur Bearbeitung leittechnlscher Grundfunktionen 
(sog. SCADA-Funktionen), Bedienplatzrechner (BR) zur 
ProzeB-Visualisierung und zusatzlicheh Rechnern zur 
Bearbeitung optionaler Sekundarfunktionen (SF)- Die 
Rechner sInd uber ein Lokales Netzwerk (LAN), typi- 
scherweise Ethernet, gekoppelt. Zur ErhOhung der 
Zuveriassigkeit des Qesamtsystems werden Rechner 
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wichtiger Funktion (in Fig. 1 : VR und LR) sowie der LAN- 
Bus redundant ausgefQhrt. Die Rechner operieren auf 
einem jeweils lokal gelialtenen, fbrtlaufend aktualisler- 
ten ProzeBabbild (dezentrale Datenhaltung). Ande- 

5 rungsdaten werden als Nachrichten versandt Aufgrund 
der Verteilung bzw. Redundanz von Funktionen und 
Datenbestdnden ergeben sich komplexe Datenf iusse im 
verteilten System. Der NachrichtenfluB vom Leitrechner 
(LR) zum Bedienplatzrechner (BR) zum Zweck der 

10 Visualisierung, bzw. zu den Sekundarfunktionen (SF) 
Qbenwegt. 

Die wesentlichen Anforderungen an Leitsysteme 
sind hohe Zuverldssigkeit, kurze, garantierte Reaktions- 
zeiten sowie Konsistenz der verteilten Datenbestdnde. 
15 Fur Rechner wichtiger Funktion ist hohe Zuverlds- 
sigkeit, d.h. unterbrechungsfreier Systembetrieb auch 
bei Ausfall von Systemkomponenten gefordert. Dies 
macht die Venvendung von Redundanz sowie geeigne- 
ter Fehlertoleranz-MaBnahmen notwendig. Bei Rekonf i- 
20 gurationen infolge von Fehlern/Ausfailen im System sind 
die Echtzeit-Eigenschaften nach mOglichst kurzer Zeit- 
dauer wiederherzustellen. 

Echtzeitverhalten der Systeme erfordert die Ver- 
wendung effizienter Obertragungsverfahren zur Mini- 
25 mierung der Rechner- und BuslasL 

Datenkonsistenz, d.h. Qbereinstimmender Informa- 
tionsstand aller Tellnehmer innerhalb bestimmter Zeit- 
dauer, ist Voraussetzung fur den bestimmungsgemaBen 
Betrleb der Leitsysteme. Datenkonsistenz ist trivial im 
30 fehlerffreien Fall, erfordert aber bei AusfSllen/Rekonfigu- 
rationen Im System spezif ische MaBnahmen zur nahtlo- 
sen Fortfuhrung des Nachrichtenaustauschs. 

Zur Kbstenminimierung beim Systemaufbau ist es 
weiterhin anzustreben, soweit mOglich standardisierte 
35 Komponenten zu verwenden. 

Aus den aufgefuhrten systemglobaten Anforderun- 
gen resultieren sehr hohe Anforderungen an die Kbm- 
nnunikation in verteilten Leitsystemen: 

40 - Identlsche Abfolge der Anderungsinformation eines 
Elements verteilter Datenbestande fur alle Exem- 
plare, unabhdngig vom Entstehungsortder Informa- 
tion (Fuhrungskompetenz). 
Nachrichtenaustausch ohne Verlust, Verfaischung. 

45 Vervielfaitlgung und Vertauschung von Information 
(Fuhrungskonsistenz). Vertauschung bezieht sich 
auf Nachrichten eines Absenders. sog. FIFO-Rei- 
henfolge. 

Nachrichten an mehrere Empfanger mussen an alle 
50 Empfanger oder an keinen ubertragen werden (Ato- 
maritatsprinzip). 

Empfang von Nachrichten in jeweils identischer Rei- 
henfolge bei mehreren Sendern und mehreren 
Empfangern im System (totale Reihenfolge von 
55 Nachrichten). 

Vermeidung von Uberholeffekten von Ursprungsin- 
fbrmation und abgeleiteter Information (kausale Rei- 
henfolge von Nachrichten). 
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Informationsubertragung mit hoher Zuveridssigkeit 
(unterbrechungsfreier Betrieb der Informations- 
quelle). 

Datenkonsistenz umfaBt die fOnf erstgenannten 
Anforderungen an die NadirichtenQbertragung. 

FQhrungskompetenz besagt, da3 bei verteilten 
Datenbestanden genau ein Orlginal-Datenbestand exi- 
stiert, alle weiteren Exemplare werden als Kbpie dieses 
Originals gefuhrt. Anderungsinformation der Datenbe- 
stdnde wird also grundsdtzlich uber eine Informations- 
queiie. die sogenannte FQhrungsinstanz gefOhrt, 
unabhSngig vom Entstehungsort der Anderungsinfor- 
mation. Fuhrungskompetenz definiert eine einheitliche 
Anderungsabfblge verteilter Datenbestdnde, ist aber nur 
wirksam. sofern auch die weiteren Anfbrderungen zum 
konsistenten Nachrichtenaustausch erfullt sind. 

Probleme bezQglich der Fuhrungskonsistenz ent- 
stehen durch Ubertragungsfehler bzw. Bus- oder Emp- 
fdngerausfail. Diese Fehler- bzw. Ausfalltypen sind von 
der Infbrmationsquelle aus Qber spezifische MaBnah- 
men zu beherrschen (z.B. Wiederholung bei Obertra- 
gungsfehlern, automatische und konsistente 
Busumschaltung bei Busausfall). 

Totals und kausale Reihenfolge ubertragener Nach- 
richten wird durch zeitlichen Indeterminismus im System 
beeintrdchtigt (z.B. bei stochastischem Gbertragungs- 
verfahren bzw. mehreren Absendern von Information). 
Zur Gewdhrleistung sind aufwendige Ordnungs-Mecha- 
nismen notwendig, speziell bei gerichteter Ubertragung. 

Wesentlicher Problempunkl fOr die nachfolgenden 
Ausfuhrungen ist der Ausfall der Informationsquelle 
(FQhrungsinstanz) selbst. er beeintrdchtigt das Atomari- 
tatsprinzip (speziell bei gerichteter NachrichtenQbertra- 
gung an mehrere EmpfSnger) sowie die Forderung eines 
hochzuveriassigen Systembetriebs (unterbrechungs- 
freier Nachrichtenstrom). 

Urn den Anforderungen an die Nachrichtenubertra- 
gung in verteilten Leitsystemen zu genugen hat die FQh- 
rungsinstanz eine konsistente Obertragung bei 
gleichzeitiger hoher Zuverldssigkeit sicherzustellen. Exi- 
stierende Kommunikations- und Rechnersysteme fQr 
verteilte Anwendungen erfullen diese Anforderungen 
nicht. Dies gilt fur verteilte Systeme im allgemeinen bzw. 
fur mit standardisierten Kbmponenten aufgebaute 
Systeme im speziellen. 

Devon ausgehend liegt der Erfindung die Aufgabe 
zugrunde, ein Verfahren zur NachrichtenObertragung 
anzugeben, welches die aufgefuhrten Anforderungen 
ohne Einschrdnkung erfullt, bei mOglichst geringem 
Kommunikations-Aufwand. 

Diese Aufgabe wird bei einem Verfahren nach dem 
Oberbegriff der Anspruchs 1 durch dessen kennzeich- 
nende Merkmale geldst. 

Das Verfehren beruht auf der Kbmbination von gesi- 
cherter NachrichtenObertragung. redundanter AusfOh- 
rung der Infbrmationsquelle und dem Prinzip der 
Fuhrungskompetenz, auf der Basis spezieller Synchro- 
nisations- und Rekonfigurations-Mechanismen. 



Vorteilhafte Ausgestaltungen der Verfahren ergeben 
sich aus den UnteransprQchen und der nachstehenden 
Beschreibung der Erfindung. 

Notwendige MaBnahmen (beispielswelse Quittier- 

5 verfahren) zur Gewdhrleistung der Datenkonsistenz bei 
Bus- und Empfangerausfailen sowie Ubertragungsfeh- 
lern sind von der Infbrmationsquelle aus steuerbeir, sie 
werden nachfolgend nicht weiterberOcksichtigt. Kritisch 
ist insbesondere der Ausfall der Quelle selbst - speziell 

10 bei gerichteter Obertragung. Er fuhrt empfangsseitig zu 
unterschiedlichem Informatlonsstand, d.h. zu Inkonsi- 
stenzen (Problembeispiel: Ausfall des Senders, ein 
Empfdnger hat eine Nachricht erhalten, ein anderer 
Empfanger aber nicht. Wie laBt sich der unterschiedliche 

IS empfangsseitige Informationsstand vermeiden bzw. kor- 
rigieren?). 

Das erfindungsgemaBe Verfahren basiert auf der 
redundanten AusfQhrung der Informationsquelle nach 
dem Master/Slave-Prinzip (vergl. Fig. 2). Zielsetzung ist 

20 es, mit einem Doppelrechner-System eine Infbrmations- 
quelle mit dem externen SerKleverhalten eines Rech- 
ners zu realisieren. Master und Slave werden 
eingangsseitig und intern synchronisiert, d.h. Master 
und Slave erhalten und verarbeiten gleiche Infbrmatlon, 

25 mit jeweils identischer Reihenfolge (Zwangssynchroni- 
sation). Damit erzeugen Master und Slave auch sende- 
seitig identische Nachrichten mit identischer Kennung 
(Sequenznummer). Aufgrund der Verwendung von Mul- 
titasking-Betriebssystemen ergibt sich aber im allgemei- 

30 nen eine unterschiedliche Nachrichten- Reihenfolge von 
Master und Slave. Nur eine Informationsquelle. vorzugs- 
weise der Master, ist sendeaktiv. Master und Slave Qber- 
wachen sich gegenseitig. Die Uberwachung erfolgt 
durch zyklischen Austausch von Oberwachungsinfbrma- 

35 tion (Tm alive"). 

Zur Sicherung der Konsistenz der Obertragung bei 
Ausfall der aktiven Informationsquelle (Master) wird ein 
sendeseitiges Synchronisations- und Rekonf igurations- 
konzept venwendet, welches auch bei Ausfall der aktiven 

40 Quelle ein konsistentes externes Obertragungsverhal- 
ten der redundanten Quelle sicherstellt. Hierzu werden 
Master und Slave sendeseitig fbrtlaufend gemdB dem 
aktuellen Sendezustand des Master synchronisiert. um 
sicherzustellen, daB der Slave im Falle eines Masteraus- 

46 falls dem Master bezQglich dessen Sendeaktivitat ent- 
spricht. 

Bel Ausfall des Slave fQhrt weiterhin der Master die 
Obertragung durch, die Synchronisation des Slave ent- 
faiit. 

50 Die sendeseitige Synchronisation beruht auf einem 
mehrphasigen Obertragungskonzept. Der Slave syn- 
chronisiert den Master bezQglich der nachsten zu Qber- 
tragenden Nachricht ( Reihenfblge-Sy nchronisation) . 
AnschlieBend erfolgt die Obertragung der Nachricht vom 

55 Master zu den Empfangern. Nach erfolgreicher Obertra- 
gung zeigte der Master dem Slave durch eine Synchro-- 
nisations-Nachricht an, daB die Obertragung korrekt 
abgeschlossen wurde (Obertragungs-Synchronisation). 
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Slave dutch den Master ware ebenfcdis moglich. Die 
bezDortch der ReihenSot^e ^rKhrw&^&te Koir^^onente 
hat aber etiie cohere Rediafilaet^ d.h. diese Kbmpo* 
neitte besimmt die V0fatb^tun9$*G^s<^vlndi0<eit dee 
Oqf^e!rechAer«System& Zur Vermeklur^ 2U^tdN:her 
MaQnahmen zur $ynchron^a^n d&f Verait>^%urkg$- 
C^scHwindigkeit $ot)te die settdeaMtve Kon^^oftente 
(d.ii. der Master) die Ve^^t^Hui^e-GeschwiixligHeft 
bestimmen. Aus diesem Grui^ eribtgt die Rethenfotge* 
Synchrontsaton d» Master ctoeh <l8n S^ve 

Master und Slave dberv^s^i^iOT sich geoensel^'g^ eln 
AusfaR de$ l^ter wM vom l^ave chirdh dae Aiisli^^ben 
von Obe^wachimgs-lnforma^on ©rkartnt- In dtesam Fall 
scfialtet sich der Slave b\^\v, er l^Nri die i^te vom 
Master rmdh nicht afs erfbtgrelcti at^eschtcssen ange* 
zelgte Otoimgung emi^l durdh. Ourdi die vortierge- 
hende Bahenfofge-SynclirOTisi^lon virarden m5giidie 
Inkonsistc^zan cter Sender^i^rriotge von Master und 
Slave vemiieden. Ourtih die CS>ertraQutigs*Syiichroi^®a* 
lion weiden mOgllc^e Nachi1<^efwerfiisle besm WecK- 
sel der aNHven infbrmalionsquelie verniiadc^. 
Fehlerfall (Ausf^ll Mast^} s^m^ dmch die erni^ite Ober* 
tragur^ von Madhrtchten dundi den Slave empfenpts®- 
0ge Dt^^cato mOglk:)!. dTese werdm anhand einer 
lortlai^erKlen Seqi^narrunnmar Obe^tnagpner N^d^h- 
ten vom EMtpW^rvg^ eiHannt %md veiworft&n* Sne amp- 
fangsseitlge Oupin^terkenming ist such nohvendtg. um 
durch Qt^rtraguigsfehlerauftre^mle DupTtkate au^u* 
iit^n (b&N^^^elsebef Verfiist von Bestitig^ir^en und 
aut»rmlted%r Wledertolung dunrch den Sie^d^), d.li. 
bereils ex^tlefawie Mechanlsmen k<Ninen gmidzt wer- 
den, watare errq:^^Bigsseitls^ fk^iBnahiimi sind nicht 
notw^endig. 

Die MaB^ahmen der Synchronmaion und Reke»nfi- 
guralion weiden nadhlolgend aniwid eiras Reallsle* 
ruMngsb^sii^s c^tutart 

Eme nach dem erflndunsraennii^M Verfahren 
arbeitende IntbnmtlDnsqueile waist mdtmn dBS Sende* 
verhalten einer aus^tlslcher en Chiefle auC Die mstv/en* 
dtgen Synchronlsaliom^MaBnahmm erfolgen 
transpareifii fc^ die En^fangar« dh. deren SoitmnQ kann 
unabhangig von d^ Sendersirukiur (redurie^ntAaichi 
redundant} geslattet werden. 

FOr den Nad^idhianausl^^ wM mn gesldher^ 
fia>$r^giings>^nahren nr^ IDr den AbserKier atieifirert* 
barer En^lang^esmtigung voraus^etrt. der emp- 
langsseilige Nachrichtenatialt mu0 fl^ den Ateender 
veiif tzietbar seia Dies Ist zur sequentlellen Ai^Mg& der 
C^rtragungsphasen notwendlg, um Veriuste bzv/. Ver* 
tauschungen vo^ Nadinchtai tm Fet^^tatl zii vmnm* 
den. ^ darf bel^ielevveiee <Se Ol>enri^giu^$« 
Synctvonisa^ €^ Stavedurd^den Mas$^ erslQestar* 
let warden, rachdem die Obertragung der Nai^ichl an 
die En^f anger far den tester verMizietl^ar ab^esdi^os- 
sen ist. 

Oas erftndungsgemato Vei^hrm iss an keinen 
Standard und an kein beeilnmtes Obertragiingsprinzip 
getxindea N^teiHiafte Auegesialtungen eind aber auf 



tim Sasis aiarKfardistertar ^issystema iml Kontmuni* 
katione-Protokolle nrKjglEch, Beretts vortiandene Teitf unk- 
tlonw konnen genutzt werden, beispietsweise CRC- 
Protsunvne. 

5 Das erlMungsg^aae VerfeHren ^fOtlt e^ie 
AnsprQ^eoHneElnsehrai^ngen. Die FrnwungsUomi' 
stenz der Obertragung wlrd durch den imhtlosen Wedv 
sel derCKi^e im Fehtertai sldiergesteiit. Bel AusiaS der 
aktiven Que@e vdrd die Obertragung uniejtjrechun^s^ei 

to von der passiven Quelle fortgesetzt* ofme Vertust. Ver- 
tausehung und VerviellStiUguf^ von Nadhriditen. Dann'rl 
m aiK^ da^ Almiari1^klspiirizi|> gei^tirie^lel. Nachi^^ 
ten weiden stets an alte Empianger Obertragen. 

Das Frfn;zg>dar F£ihtrun^l<onni>eten2 stefitdie CSI^r- 

IS elnstirmnende Anderur^sablofge ^es bes^mmtcn Ele- 
menis verteilter Datenl>6Stinde sidhen Durch 
Erw^erung diesis Pnnzlps aul Nachrtohten beliel)igen 
Typafassen sioh aut^ Anfoidenmgm der kausalen 
und to^aien Bc^r^o^ erfilllten. Macfiridhlen Iim^^I^ 

iSK? tellr^tmer wardan Ober die cntsprectiaid dem &nrh 
dun^gerr^8€3i Verfahren aufgebaute Fuhriingslnstanz 
gefOhrt« Der SeHali^rirngseffei^ der FUhrungsltetanz 
sleCHin Kbmbirmtlon mit deren tons^st enter urd hochzu- 
v^assiger Obertragung die kat^ie imd tonsist&nte 
Osbertragung sk^en Ai^wemfige Ordnungs-^chards* 
mm lessen sich iilerdk^rc^ vemt^den. C^eser Ansdiz bt 
in den l>etraoritelen Leitsy^enwi sehr eflrzient anwend- 
bar, da aufgrurKi des asymrr^tnsch^ Lastverhait^is 
Mustffetier Lelisystem^ das Daterrautloommen Im 

m weseniiichen von elner Quelle, dem Leitredhiner {LR)« 
geprdgl viHrd Danrut tst der L^edhner als FDhrur^n* 
slanzgem§&€j^ eiftnctoiigsgenriaSari Vi^rf^enpr^^ 
t^iniert. M& RoacerSdatm im System f ifeSen tOber den 
Ijsitree^er ufKlwaid^ vcmdieseniandile^ Teii* 

SB n^mar varteilt das Dalenautonnincn In umgeki^rtef 
Rtch^ng 1st \remach1^ssig(l>ar. €s sind aber auch meh- 
r^e Fdhrur^instenzen Im vertaHten System m^glich. 

i^undsiitzlich erglbt sich f £^ Verfahren zur hochzu- 
vmtl^sigm und tonsJslenten Otertragung von Nach- 

40 tldhtm das Mnlmum des Nad^ditmaufwar^ der 
Obertragur^g fllr den ^eor^isctten) FsM einer infofma* 
tion^uelle mil Inharent ausfallslcherem Verhalten. Der 
Nac^chtenaufv/arxS des erfindyngsgernaSen Verlah* 
rens nih^ sich rr^t zunehmender Empfingerzahi die- 

4S sem Opinuim an. Das eif indung^emSSe Verlaliren 
welst eeibet Ver^lel^^ tMj ZiAN^^^hasen^Kbnz^&n^ 
vi^ldhie vvie ^itfdhrend eriauten den Anfoiden^en 
nictit in vollem Umlang gandgen, eir>en signSfScant redu* 
aaerten Hiachrichtenautv/and auf. 

so OemaB etner vofteilhafien Ausgestattung konnen 
mt Reducer ung der Sande» und Errisil^^^islast der Tell - 
nel«fner iH^chrtchten xu Blokken ztisanrmenge^f^t und 
Obertra^ vnenien. Damit Id6l e}<^ die Eifizienz der 
Obertragung wesarrtlidi steigern (ProtokoU-Bearbeltung 

55 und Komext'Wechsei tor lede zu obertnagende Nach* 
rit^t warden verrr^&S&n}, Diese En/^etterung des edin* 
dtjoigsgemaOeii Verfahrens auf t^ockorientierte 
Obertragung wiid ebenlatis anhaixl des rmcNolg^en 
Ai^hrur^l^iS}^^ naher efid(4e^t 



4 



EP0720 337A2 



8 



Eine vereinfachte Ausgestaltung des erfindungsge* 
mdBen Verfahrens ergibt sich bei der Realisierung mit 
Obertragungsverfehren. welche Qber die gesicherte 
Ubertragung hinaus konsistente NachrichtenQbertra- 
gung gewdhrleisten, beispietsweise dem "Verfahren zur 
konsistenten Nachrichtenubertragung" gemSB Patent- 
anmeldung P 44 32 075.2. Vorhandene Eigenschaften 
konslstenter Obertragungsverfahren lassen sich in vor- 
teilhafter Weise bei der Realisierung des erfindungsge- 
maBen Verfahrens venwenden. 

Das erf indungsgema3e Verfahren wird nachfblgend 
anhand eines AusfQhrungsbeispiels erlSutert. 

Es wird auf nachstehende Zeichnungsf iguren bezug 
genommen: 

Fig. 1 Aufbau eines Le'rtsysteniSp 

Fig. 2 redundant ausgefQhrte Infbrmali- 

onsqueile, 

Fig. 3A bis 3D Synchronlsationsabfblge (ohne Mul- 
titasking, ohne Fehler). 

Fig. 4A bis 4D Synchronisationsabfolge (ohne Mul- 
titasking. Fehlerfall), 

Fig. 5A bis 5D Problemdarstellung: fehlende Rei- 
henfblge-Synchronisation. 

Fig. 6A bis 6D Ubertragungs- und Reihenfblge- 
Synchronisation (ohne Fehler), 

Fig. 7A bis 7F Synchronisation bei Masterausfall. 

Die beschriebene Realisierung basiert auf gerichte- 
ter und bestatigter Ubertragung von Nachrichten. Eine 
erfolgreiche Ubertragung ist fur den Absender durch 
Empfang einer Bestatigung erkennbar. Weiterhin erfblgt 
die Ubertragung gesichert durch CRC-PrQfsumme. Ver- 
faischungen wahrend der Ubertragung werden erkannt. 
die Ubertragung wiederholt. Fur die Realisierung des 
Verfahrens wird weiterhin angenommen, da(3 Rechner 
nur korrekte Nachrichten versenden (sendeseitige 
Nachrichtenintegritat) undfehlerhafte Rechner sich pas- 
siv schalten (Fail-Silent-Verhalten). 

Master und Slave werden eingangsseitig und intern 
synchronisiert und erzeugen gleiche Nachrichten mit 
jeweils identischer Kennung, welche aus der Angabe 
des Nachrichtentyps und einer fortlaufenden. von der 
Absender-Task vergebenen Sequenznummer besteht. 
Die Nachrichtenabfolge von Master und Slave ist unter- 
schiedlich (Multitasking). Nur der Master ist bezuglich 
der Nachrichtenubertragung zuden Empfangern sende- 
aktiv. Master und Slave ubenA/achen sich gegenseitig 
durch Versenden eines zyklischen Uberlebenssignals. 
Optional kOnnen Datenaustausch fOr die Synchronisa- 
tion und Uberlebenssignal auch gekoppelt werden. 

Die Beschreibung erfblgt unter Angabe des zeitli- 
Chen Ablauts der Synchronisation im Normalbetrieb 
sowieder Rekonfiguration im Fehlerfall (Ausfall Master), 
for ein verteiltes System, bestehend aus einer redundant 
ausgefuhrten Informationsquelie (Master M. Slave S) 
und zwei Empfangern (El und E2). Die aktiven Rechner 
sind jeweils dunkel gezeichnet. Es versteht sich, daB das 



Verfahren jedoch nicht auf eine Obertragung zu nur zwei 
Empfangern beschrankt ist. 

Die Betrachtung erfblgt zundchst unter der vereinfa- 
chenden Annahme, daB Master und Slave sendeseitig 
5 Nachrichten mit gleiche Reihenfolge erzeugen (kein 
Multitasking), identische Nachrichten sind in den Zeich- 
nungsfiguren jeweils durch eine identische Schraffur 
kenntlich gemachi Die Figuren 3A bis 3B zeigen die zeit- 
liche Abfolge der Synchronisation von Master und Slave 
10 for diesen Fait. Der Master ubertragt eine Nachricht an 
E1 und E2 (Rg. 3A, Rg. 3B). Nach erfblgreicher Ober- 
tragung an die Empfanger zeigt der Master dies dem 
Slave an, indem die Nachricht selbst bzw. die Nachrich- 
tenkennung zum Slave ubertragen wird (Rg. 3C). Der 
15 Slave streicht die vom Master synchronisierte Nachricht 
aus dem eigenen Sendepuffer, der Master beginnt mit 
der Ubertragung der nachsten Nachrichten die Empfan- 
ger (Fig. 3D). 

Die Fig. 4A bis 4D zeigen die zeitliche Abfolge im 
20 Fehlerfall. Ausgangspunkt sei wiederum die Ubertra- 
gung einer Nachncht durch den Master an die Empfan- 
ger (Fig. 4A). Bei Ausfall des Master (Fig. 4B) wird der 
Slave sendeaktiv und fuhrt die Ubertragung erneut durch 
(Fig. 4C, 4D). Durch die Synchronisation nach erfblgrei- 
25 Cher Ubertragung im fehlerfreien Fall werden Nachrich- 
tenverluste bei Ausfall des Master vermieden. 

Bei Venftfendung von MultitasWng-Betriebssyste- 
men erzeugen Master und Slave die gleichen Nachrich- 
ten, aber mit im allgemeinen unterschiedlicher 
sendeseitiger Nachrichten-Reihenfolge (FIFO-Reihen- 
fblge). Nach einem Master-Ausfall ubertragt der Slave 
bei Verwendung des vorstehenden Verfahrens zundchst 
im allgemeinen eine andere Nachricht als die letzte Sen- 
denachricht des Master. Damit ist eine einheitliche Rei- 
henfolge der Nachrichten (FIFO-Reihenfolge) auf 
Empfangsseite nicht gewahrleistet. Eine ubereinstim- 
mende FIFO-Reihenfblge von Master und Slave ist aber 
eine notwendige Voraussetzung fQr die Datenkonsi- 
stenz. 

40 Die Rg. 5A bis 5D verdeutlichen die Problematik. 
Der Master ubertragt eine Nachricht an die Empfanger 
(Rg. 5A). Empfanger E1 hat die Nachricht des Master 
erhalten und verarbeitet diese. Vor der Ubertragung zum 
Empfanger E2 failt der Master aus (Fig. 5B). Der Slave 
erkennt den Ausfall und fuhrt die Obertragung entspre- 
chend der Nachrichten-Abfblge im eigenen Sendepuffer 
fort (man beachte die unterschiedliche Nachrichten-Rei- 
henfolge in den Sendepuffern von Master und Slave). 
Die Empfanger erhalten die Nachrichten nun in der 
FIFO-Reihenfolge des Slave, Enpfanger E1 verarbeitet 
die Nachricht aber bereits in der FIFO-Reihenfolge des 
Master (Fig. 5C, 5D). Dies fQhrt zu Inkonsistenzen der 
Empfangs-Reihenfblge und damit auch der Datenbe- 
stande selbst. 

55 Zur Ldsung des Problems wird neben der Synchro- 
nisation des Slave mit den vom Master ubertragenen 
Nachrichten (Obertragungs-Synchronisation) auch die 
FIFO-Reihenfolge (d.h. die Sendereihenfolge von Nach- 
richten) synchronisiert (Reihenfblge-Synchronisation). 
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Die Rg. 6A bis 6D zelgen den Ablauf im fehlerfreien 
Betrieb. Der Slave C&ertrdgt die ndchste zu ubertra- 
gende Nachricht (bzw. deren Kennung) an den Master, 
d.h. er synchronisiert den Master bezQglich der Sende- 
abfolge (Rg. 6A). Der Master fOhrt zwei Sendepuffer: 5 
Den Slave-Sendepuffer (hier werden die vom Slave 
bezQglich der Reihenlblge synchronisierten Nachrichten 
eingetragen) undden eigenen Sendepuffer (hier werden 
die selbst erzeugten Nachrichten in der eigenen Sende- 
reihenfolge eingetragen). Der Master tragt die Nachricht w 
des Slave im Slave-Sendepuffer ein. die entsprechende 
Nachricht wild ausdem eigenen Sendepuffer gestrichen 
(Rg. 6B). Anmerkung: Diese Vorgehensweise gilt nur fur 
die Synchronisation durch Ubertragung der Nachricht 
selbst. Bei Synchronisation uber Nachrichtenkennung 75 
besitzt der Master nur einen Nachriditenpuffer, Nach- 
richten mussen entsprechend der vom Slave vorgege- 
benen Reihenfolge neu geordnet werden. das Entfernen 
von Nachrichten entfdilt fur diese Phase. 

Wie einfuhrend bereits eriautert, hat die Reihen- 20 
folge-Synchronisation des Master durch den Slave den 
Vorteil. daB die sendeaktive Komponente (Master) die 
Verarbeitungs-Geschwindigkeit des Doppelrechner- 
Systems bestimmt (die bezOglich der Reihenfolge syn- 
chronlsierte Komponente hat intern durch Vergleich bzw. 2S 
Umordnen von Nachrichten einen hOheren Protokollauf- 
wand. d.h. sie bestimmt die Verarbeitungs-Geschwindig- 
keit). 

Nach erfolgter Reihenfblge-Synchronisation wird 
vom Master die Ubertragung der Nachricht zu den Emp- 30 
fangern durchgefQhrt (Rg. 68, 6C). Nach erfblgreicher 
Obertragung kann die Nachricht aus dem Sendepuffer 
des Master gestrichen werden. Eine Synchronisations- 
nachricht des Master zum Slave (Ubertragungs-Syn- 
chronisation) veranlaBt letzteren. die Nachricht aus dem 35 
eigenen Sendepuffer zu entfernen (Fig. 6D). 

Die zeitliche Abfblge bei Ausfall des Master ist in den 
Fig. 7A bis 7F dargestellt. Der Master wird vom Slave 
vor der Ubertragung an die Empfanger bezQglich der 
Reihenfolge synchronisiert und tragt die erhaltene Nach- 40 
richt im Slave-Sendepuffer ein (Fig. 7A). AnschlieBend 
beginnt der Master mit der Ubertragung der vom Slave 
erhaltenen Nachricht an die Empfanger (Rg. 7B). Bei 
Ausfall des Master wahrend der Ubertragung (Rg. 7C) 
wird der Slave akliviert (Fig. 70), er fOhrt den letzten 45 
Sendevorgang des Master mit identischer Nachricht und 
Reihenfolge erneut durch (Rg. 7D, 7E) und setzt 
anschlieBend die Obertragung mit weiteren Nachrichten 
im lokalen Sendepuffer fort (Rg. 7F). 

Auf Empfangsseite kOnnen beim beschriebenen so 
Verfahren Duplikate auftreten (Nachrichten, welche 
empfangsseitig bereits vom Master erhalten wurden. 
vom Slave erneut Qbertragen werden). Diese lassen sich 
von den Empfangern einfach erkennen (und venwerfen), 
da der Slave Nachrichten mit einer zum Master konsi- 55 
stenten Nachrichtenkennung (z.B. Sequenznummer) 
Qbertragt (vergl. Rg. 40 bzw. Rg. 7E). 

Zur Steigerung der Effizienz der Ubertragung laBt 
sich das Verfahren auch auf eine blockorientierte Ober- 



tragung und Synchronisation erweitern. Nachrichten 
werden gesammeit, in BlOcke gepackt und gemaB einer 
kombinierten Zeit-/Mengensteuerung Qbertragen. 
Zusatzlich zu den Kennungen einzelner Nachrichten 
werden die BlOcke durch Angabe des Absenders und 
einer Block-Sequenznummer mit einer zusatzlichen 
Kennung versehen. BlOcke von Master und Slave mit 
gleicher Kennung mQssen auch identische Nachrichten 
mit jeweils ubereinstimmender Anzahl und Abfolge bein- 
halten. Dies wird sendeseitig durch die Reihenfolge- 
Synchronisation der Block/n/7a/fe, d.h. der einzelnen 
Nachrichten eines Blocks realisiert. durch Ubertragung 
der Nachrichtenbldcke selbst Oder durch Ubertragung 
der Kennungen und Abfolge der Nachrichten eines 
Blocks. Die Anzeige des Master an den Slave, daB ein 
Nachrichtenblock an alle Empfanger Qbertragen wurde 
(Ubertragungs-Synchronisation) und die empfangssei- 
tige Duplikaterkennung kOnnen uber die Block-Kennung 
erfblgen. 

PatentansprQche 

1. Verfahren zur hochzuveriassigen und konsistenten 
Obertragung von Nachrichten einer Infbrmations- 
quelle an mehrere Empfanger in einem verteilten 
System nach dem Erzeuger/Verbraucher-Prinzip, 
dadurch aekennzeichnet. daB 

a) eine redundant ausgefuhrte Informations- 
quelle venA/endet wird, die eine ats Master 
bezeichnete erste Informationsquelle und eine 
als Slave bezeichnete zwe'rte Informations- 
queue aufweist und nach einem Master/Slave- 
Prinzip arbeitet, wobei 

a1) Master und Slave bezQglich Nachrich- 
teninhalt und zugeordneter Kennung sen- 
deseitig identische Nachrichten mit 
gleicher Oder unterschiedlicher Nachrich- 
tenreihenfblge erzeugen, 
a2) Master und Slave sich gegenseitig 
bezQglich Funklionsfahigkeit ubenwachen 
und bezQglich der Reihenfolge und Nach- 
richtenQbertragungsynchronisieren. 
a3) in fehlerfreiem Betrieb nur eine der 
Infbrmationsquellen (Master) sendet und 
im Fehlerfall selbsttatig eine Umschaitung 
auf die ungestOrte Quelle erfolgt. 

b) die redundant ausgefQhrte Informations- 
quelle als fQhrende Instanz fOr verteilte Daten* 
bestande (Exemplare) definiert wird. welche 
alien weiteren Exemplaren Anderungsinforma- 
tion aufpragt (FOhrungskompetenz), und 

c) Nachrichten gesichert Oder unter Anwen- 
dung eines Verfahrens zur konsistenten Nach- 
richtenObertragung Qbertragen werden. 
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2- Verfahren nach Anspruch 1 , dadurch gekennzeich- 
net, daB die Nachrichtenubertragung in streng 
sequentlelten und verifizierten Schritten abiauft. 
wobei 

5 

a) im ungestOrten Fall gilt: 

a1) der Slave synchronisiert den Master 
bezuglich der ndchsten zu ubertragenden 
Nachricht (Reihenfblge-Synchronisation). io 
a2) der Master Qbertrdgt die jeweilige 
Nachricht zu den Ennpfangern, und 
a3) der Master synchronisiert den Slave 
bezQglich der an die Empfdnger ubertrage- 
nen Nachricht (Ubertragungs-Synchroni- is 
sation), der Slave streicht die 
synchronisierte und ubertragene Nachricht 
aus seinem lokalen Sendepuffer. 

b) bei Ausfall der aktiven Informationsquelle 20 
(Master), der an beliebiger Stelle der Obertra- 
gungsabfolge auftreten kann, gilt: 

b1) der Slave erkennt den Masterausfall 
uber die MaBnahmen der gegenseitlgen 2S 
UbenA^achung und ubernimmt die Sende- 
aktivitat (Rekonf iguration). 
b2) der Slave fuhrt die Ubertragung mit der 
bezQglich Reihenfolge synchronisierten, 
vom Master aber noch nicht als ubertragen 30 
angezeigten Nachricht erneut durch. wobei 
mOgliche Duplikate von den Empfangern 
anhand von Nachrichtenkennungen 
erkannt werden. und 

b3) der Slave fQhrt die Obertragung der 3s 
weiteren Nachrichten fort. 

3. Verfahren nach Anspruch 2. dadurch abgewandelt. 
daB der Master den Slave bezuglich der nachsten, 

zu Qbertragenden Nachricht synchronisiert (Rei- 40 
henfblge-Synchronisation). 

4. Verfahren nach einem der vorstehenden Anspru- 
che, dadurch gekennzeichnet daB standadisierte 
Bussysteme und Kdmmunikationsprotokolle ver- 4S 
wendet werden. 

5. Verfahren nach einem der vorstehenden AnsprQ- 
che. dadurch gekennzeichnet, daB Nachrichten 
blockweise ubertragen werden und die Verfahrens- so 
schritte nach einem blockorientierten Kbnzept erfol- 
gen. 
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Fig. 4 A Fig. 4 B 
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